Ramli dilahirkan di Penempatan Orang Asli Batu 12, Jalan Pahang, Gombak, Selangor pada tahun 1958. Bapa kepada Ramli Mohd Nor adalah berketurunan orang asal di semenanjung Malaysia dari suku kaum Semai, Cameron Highland, Pahang. Ibu beliau pula adalah suku kaum Termiar dari Gua Musang, Kelantan.